Mattis sinh ngày 8 tháng 9 năm 1950, tại Pullman, Washington.[13] Ông là con trai của Lucille (Proulx) Mattis[14] và John West Mattis (1915–1988),[15][16] một thương thuyền. Mẹ ông di cư đến Hoa Kỳ từ Canada khi còn là nhỏ và đã làm việc trong Tình báo quân đội tại Nam Phi trong chiến tranh thế giới thứ hai.[17] Cha của Mattis chuyển đến Richland, Washington, để làm việc tại một nhà máy cung cấp vật liệu phân hạch cho Dự án Manhattan.[18] Mattis được nuôi dưỡng trong một gia đình mọt sách không sở hữu tivi.[18] Ông tốt nghiệp Richland High School năm 1968.[18][19] Ông đã lấy được cử nhân lịch sử từ Đại học Central Washington năm 1971.[20][21][22] Ông đã lấy bằng cao học về các vấn đề an ninh quốc tế từ Đại học Chiến tranh Quốc gia của Đại học Quốc phòng năm 1994.[23]